#decision making

2 篇

Augur: A Synthetic Decision Lab for Rehearsing Reactions to Product and Policy Changes

Augur：预演产品与政策变更反应的合成决策实验室

🧭 LLM 评估与合成人群模拟

PayPal AI

构建合成决策实验室，发现开放权重模型与前沿模型的差距多源于评估欠规范而非能力差异

📌 工作参考价值（4 点）

评估生成式推荐/Agent 决策时，先审计 prompt 是否公平，尤其决策 taxonomy 是否显式给定；固定权重、样本、scorer 做 matched ablation，报告 paired McNemar + Holm 校正，否则会误判自研小模型与闭源大模型差距。
可在发版前用 grounded persona 市场模拟用户/商户/平台三方反应，对定价、广告政策、推荐策略变更做离线预演；用变更文档构建 persona，比通用角色扮演更能暴露真实争议点。
注意 LLM 合成用户容易系统性“过度悲观/over-doom”，别直接以负面比例做上线否决；要校准、与真实反馈对照，且 teacher agreement 高不代表决策准确率提升。
离线部署 LoRA-SFT 开放权重模型服务于决策 memo，在公平评估下可与 frontier 模型无显著差异，适合电商内部高 QPS 决策审计场景。

Eval | 2026-09-24 | cs.CL | score 7/10

分离劳动：将证据解释与决策聚合分开

🧭 LLM 多源证据聚合与决策架构

Atlassian

提出将证据解释与决策聚合分离，用四字段证据元组和校准对数似然比池化解决计数尺度漂移

📌 工作参考价值（4 点）

在电商/推荐系统的多源信号融合中，将 LLM 的“证据读取”与“决策聚合”拆开：每个证据输出结构化 tuple（hypothesis, reliability bucket, rationale, provenance），后续用固定算术融合，便于溯源和跨场景复用。
避免简单对多路召回得分、多策略 CTR 预估等做未归一化加权求和或投票阈值，因为阈值会随证据数量漂移；改用校准后的对数似然比池化（或等效的后验阈值），使决策一致且可比。
对不可靠来源（如弱标注、用户生成内容）先做可靠度分桶，再参与聚合，可降低噪声主导风险；该 bucket 可作为先验指导模型对不同证据的信任程度。
在 Agent 决策链中，将最终决策与中间证据解释分离，便于调试、审计和动态调整证据集；架构上无需大改，只需改变聚合的算术方式。

LLM | 2026-08-14 | cs.LG | score 7/10